iT邦幫忙

2017 iT 邦幫忙鐵人賽
DAY 29
0
自我挑戰組

30天 Docker E.L.K stack 系列 第 29

Day29 - Optimization

  • 分享至 

  • xImage
  •  

在使用 Elastic Stack 的過程中可藉由調整 logstash 資料過濾的方式、elasticsearch 資料儲存的方式來優化整體效能。個人在使用的過程中有遇到效能上的問題,一開始是資源使用不完全,cup的使用率一直無法接近滿載的情況而導致資料處理緩慢。後來想到一個簡單的方式在不改動環境設定值的情況下增加 logstash 的工作量 —— 直接增加 logstash container,這是唯有我們在 docker container 下才有辦法做到的解法,雖然多虛擬機會犧牲部分資源,但能夠用這種方式使得資源被完全使用對當下的我來說是最重要的,如果你跟我一樣只是想多使用一點資源的話這或許是一個簡單不錯的方式。

But if you want to do it by the right way. 你需要參考官方文件

Logstash 效能相關參數

  • pipeline.workers
  • pipeline.output.workers
  • pipeline.batch.size
  • pipeline.batch.delay

Logstash filter 效能檢驗流程

Step 1: 簡易測試資料
Step 2: metrics 插件,觀察 documents/minute rate
Step 3: 優化 filtes
Step 4: 優化 inputs
Step 5: 優化 outputs

可參考官方調校建議

實體資源相關

Performance Troubleshooting Guide


上一篇
Day28 - Kibana Extended Metric Plugin
下一篇
Day30 - 30 days Review
系列文
30天 Docker E.L.K stack 30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言